SIREN: Unified Multi-Granularity Semantic Interaction for Multi-Modal Lifelong User Interest Modeling
SIREN：多粒度语义交互的统一多模态终身兴趣建模
🧭 多模态终身兴趣建模 · 语义ID ★ 深度解读
Tencent Inc. · Xiamen University
在工业推荐的两阶段框架中，通过语义ID和相似度桶实现多模态信号的早期融合，兼顾效果与部署效率。
📌 工作参考价值（4 点）
- 语义ID生成与使用：利用RQ-VAE将多模态embedding离散化为分层语义ID，并通过前缀编码保留层级语义，可作为item的稳定通用token，既用于GSU的硬检索（倒排索引，降低90%以上在线成本），又作为ESU中细粒度特征，可迁移至电商商品的生成式推荐或冷启表征。
- 早期融合代替晚期融合：将相似度桶和语义ID直接拼入item表征，与ID特征一起进入target-conditioned Transformer进行统一序列建模，而不是在序列聚合后再融合。这让多模态信号参与注意力权重和兴趣表征的联合学习，可应用于短视频、广告等场景的多模态长期行为建模。
- 相似度桶化与语义ID的互补设计：相似度桶提供粗粒度的目标相关度，语义ID捕获细粒度的物品语义和协同异质性。分析表明二者互补，且单纯增加桶数无法弥补细粒度缺失。在电商场景中可借鉴该组合特征方式，提升老客与新品的匹配精度。
- 冷启动增益：多模态信号显著提升低活用户和新广告的效果（GMV增益可达整体平均的1.4~3.6倍），对于电商新品冷启、小语种用户等场景有直接参考价值。